Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization
基于心理学推理与角色感知策略优化的通用角色扮演智能体
🧭 心理学引导推理与角色感知强化学习
Zhejiang University · Tencent Youtu Lab
提出心理学引导的CoT与基于互信息的策略优化，抑制奖励黑客，提升角色保真度。
📌 工作参考价值（4 点）
- 对话推理结构可复用：Psy-CoT 将回复前思考分解为交互感知、心理共情与逻辑构建三步，电商虚拟导购、客服机器人可借鉴该链式推理，生成更贴近用户心理、更具说服力的对话。
- 互信息梯度加权抑制奖励黑客：RAPO 用 profile–token 互信息不对称缩放梯度，放大角色相关 token 的正优势、衰减负优势，该技巧可迁移到任意 LLM 对齐任务（如推荐解释生成、广告文案优化），防止模型学得空洞通用回复而冲高奖励。
- 训练不稳定时的干预思路：当发现 LLM 奖励模型给出相同梯度信号导致性能退化，可引入类似 RAPO 的 token 级重要性加权，无需改变奖励模型，仅调整策略梯度，工程成本低。
- 多尺度模型验证：实验在多种模型规模上均超越 GRPO，证明该策略优化方法对基座能力不敏感，适合在推荐/对话系统实际部署中逐步升级基座模型。